生成AIパスポート 用語解説
NSP（Next Sentence Prediction）とは
与えられた2つの文章が、元の文章で連続する関係にあるかどうかを判定させることで学習を行う、BERTモデルの事前学習タスクの一つ。MLMと組み合わせて用いられる。
まず押さえる結論
NSP（Next Sentence Prediction）は、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-08-31。
公式シラバス（PDF）（公式）比較記事でさらに確認する
具体例から判断の境界を固める
NSPを、単語を隠して当てるMLMではなく、2つの文が連続しているかを当てるBERTの事前学習タスクとして捉える
BERTの事前学習では、文Aと文Bを組にした入力を作ります。原論文では、学習例の50%は文Bが文Aの実際の次の文、残りの50%はコーパスからランダムに選んだ文とし、2つの文が連続しているかを二値で予測させます。質問応答や自然言語推論のように、文と文の関係の理解が必要な課題を意識したタスクです。
- 問題文で見る箇所
- 「2つの文が連続しているかを判定する」「BERTの事前学習に使う」「MLMと組み合わせる」という記述を確認します。単語を隠して当てるMLM、左から右へ次の単語を予測する従来の言語モデルの説明が混ざっていないかを見ます。
- 隣接概念との境界
- MLMは各系列のトークンの一部（原論文では15%）を隠して元の単語を当てさせる単語単位のタスク、NSPは2つの文が連続する関係にあるかを当てる文単位のタスクです。BERTはこの2つを組み合わせて事前学習します。
誤答しやすい選択肢
- NSPを、文中の隠した単語を当てる手法として説明する。単語を隠して当てさせるのはMLMで、NSPは2つの文が連続する関係にあるかを判定するタスクである。
- NSPを、文章の続きを単語ごとに生成する手法として説明する。NSPが予測するのは次の単語ではなく、2つ目の文が実際に続く文かどうかという二値の判定である。
- NSPを、特定の課題に合わせて調整する段階の手法として説明する。NSPはMLMとともに、BERTの事前学習の段階で使うタスクである。
4段階の判断手順
- 01設問が、単語単位の予測（MLM）を問うているか、文と文の関係の判定（NSP）を問うているかを先に分ける。
- 02文の関係であれば、2つの文が連続するかどうかの二値判定という記述になっているかを確認する。
- 03事前学習の段階の話か、特定の課題向けの調整の話かを見直し、NSPが事前学習で使うタスクとして書かれているかを確かめる。
到達条件: NSPを、BERTの事前学習でMLMと組み合わせて使う、2つの文が連続しているかを当てる文単位のタスクとして、単語を隠して当てるMLMと区別して説明できる。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
×GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
×Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
文章の前後関係を双方向から捉えるため、一部の単語を隠して元の語を予測する学習を使うモデルを確認したい。説明はどれか。
この事例では「マスクした語の予測を用いるBERTか」を確認すると、NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
二つの文が連続する関係かを予測する課題を、BERTの事前学習で使った。該当する概念の説明はどれか。
この事例では「文同士の連続関係を予測するNSPか」を確認すると、NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
文章の左側と右側の両方を参照して、隠された単語を当てる事前学習モデルを選ぶ。説明はどれか。
この事例では「双方向の文脈を学ぶBERTか」を確認すると、NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルであるに絞れる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。
同じ章で確認したい用語
到達チェック
- NSP（Next Sentence Prediction）を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、NSP（Next Sentence Prediction）に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）